相信大家對於前一天的Google Hacking都有一定的了解了(吧?)
那麼今天我們就來介紹另一個酷東西
就是...robots.txt
首先我們要先知道這是啥東西還有它的特點是啥
- 一種於網站根目錄下的ASCII編碼文字檔案
- 告訴網路搜尋引擎的漫遊器,站中的哪些內容是不應被取得的,哪些是可以被取得的
- 必須命名為“robots.txt”
- User-agent:指定的 bot 他請求時所代的 User-agent
- Disallow:不允許收錄的路徑
- Allow:允許的路徑
- Sitemap:路徑地圖
那麼我們最入門的工具就先教到這邊~我們明天會進入到Linux相關的指令操作ㄛ~